{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 补充知识点2：新闻爬取 - 百度新闻爬虫"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "百度新闻爬虫的相关知识点在笔者的上一本书《Python金融大数据挖掘与分析全流程详解》（https://item.jd.com/12568751.html?dist=jd）\n",
    "\n",
    "第三章“金融数据挖掘案例实战1”中有详细的讲解，这里结合了本书第二章pandas库的相关知识点将数据进行整合，并导出成Excel文件方便使用。\n",
    "\n",
    "因为核心知识点在上一本书已经描述的较为详细，所以这里就不在赘述，通过如下代码可以爬取百度新闻多页多个关键词。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "ExecuteTime": {
     "start_time": "2020-12-16T06:11:24.678Z"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1.盈峰环境(000967.SZ):华能信托卖出586.27万张盈峰转债 智通财经 2020年12月3日 19:01\n",
      "https://baijiahao.baidu.com/s?id=1685054571206045102&amp;wfr=spider&amp;for=pc\n",
      "2.盈峰环境(000967.SZ):华能信托卖出盈峰转债合计586.2664万张 中金在线 2020年12月3日 18:37\n",
      "http://sc.stock.cnfol.com/ggzixun/20201203/28566560.shtml\n",
      "3.盈峰环境:华能信托于2日购买盈峰转债合计672.4万张 金融界 2020年12月3日 11:50\n",
      "https://baijiahao.baidu.com/s?id=1685027676162092237&amp;wfr=spider&amp;for=pc\n",
      "4.信托日报(12月3日) 财联社 2020年12月3日 09:04\n",
      "https://baijiahao.baidu.com/s?id=1685018534787808023&amp;wfr=spider&amp;for=pc\n",
      "5....华润信托、中粮信托、五矿信托、华能信托、光大信托、华鑫信托... 市商网 2020年12月3日 06:19\n",
      "https://www.otcbeta.com/kx/35b2e0bc9e546cb10eff84a69a545a65.html\n",
      "6.信托QDII额度突破90亿美元 6家公司首次获批额度 腾讯网 2020年12月3日 00:00\n",
      "https://new.qq.com/rain/a/20201203a01iz800\n",
      "7.「公告抢先看」晚间重要公告:东旭光电“16东旭光电MTN002”未能如... 金融界 2020年12月2日 18:40\n",
      "https://baijiahao.baidu.com/s?id=1684962921097739864&amp;wfr=spider&amp;for=pc\n",
      "8.盈峰环境:华能信托今日增持672万张盈峰转债 e公司 2020年12月2日 17:42\n",
      "https://baijiahao.baidu.com/s?id=1684959035833279666&amp;wfr=spider&amp;for=pc\n",
      "9.《盈峰环境:华能信托今日增持672万张盈峰转债》的相似新闻 云财经 2020年12月2日 17:37\n",
      "https://www.yuncaijing.com/news/similar/id_14929009.html\n",
      "10.盈峰环境:华能信托今日增持672万张盈峰转债 第一财经 2020年12月2日 17:08\n",
      "https://www.yicai.com/brief/100861414.html\n",
      "华能信托第1页爬取成功\n",
      "1....盈峰环境公告,公司接到华能贵诚信托有限公司的通知,华能信托于... 手机凤凰网 2020年12月2日 16:52\n",
      "https://finance.ifeng.com/c/81sSgfjHqQy\n",
      "2.盈峰环境(000967.SZ):华能信托已购买盈峰转债合计672.4275万张 格隆汇 2020年12月2日 16:51\n",
      "https://baijiahao.baidu.com/s?id=1684955895583670209&amp;wfr=spider&amp;for=pc\n",
      "3.2020年12月2日晚间上市公司公告汇总 腾讯网 2020年12月2日 00:00\n",
      "https://new.qq.com/omn/20201202/20201202A0FF8300.html\n",
      "4.洽洽食品:华能信托卖出洽洽转债合计399.7万张,占发行总量的29.83% 金融界 2020年11月19日 16:52\n",
      "https://baijiahao.baidu.com/s?id=1683778268202495817&amp;wfr=spider&amp;for=pc\n",
      "5.洽洽食品(002557.SZ):华能信托以集中竞价卖出洽洽转债399.6995万张 格隆汇 2020年11月19日 16:01\n",
      "https://baijiahao.baidu.com/s?id=1683775062047326232&amp;wfr=spider&amp;for=pc\n",
      "6.洽洽食品(002557.SZ)获华能信托增持399.7万张“洽洽转债” 智通财经 2020年11月18日 18:02\n",
      "https://baijiahao.baidu.com/s?id=1683691903853127122&amp;wfr=spider&amp;for=pc\n",
      "7.洽洽食品遭华能信托、华泰集团合计减持洽洽转债71.61% 腾讯网 2020年11月18日 00:00\n",
      "https://new.qq.com/omn/20201124/20201124A0774E00.html\n",
      "8.国网英大(600517.SH):武汉南瑞与和顺都宝、华能信托签署特定资产... 和讯股票 2020年10月12日 18:37\n",
      "http://stock.hexun.com/2020-10-12/202213167.html\n",
      "9.全国首单信托公司担任管理人的权益型类REITs成功发行 中证网 2020年9月29日 16:15\n",
      "http://www.cs.com.cn/yh/06/202009/t20200929_6098992.html\n",
      "10.鲁商发展:拟将所持临沂鲁商44.1%股权收益权转让给华能贵诚信托 证券之星 2020年9月21日 21:16\n",
      "https://baijiahao.baidu.com/s?id=1678450071351020599&amp;wfr=spider&amp;for=pc\n",
      "华能信托第2页爬取成功\n",
      "1.鲁商发展拟4亿转让临沂项目公司44%股权予华能贵诚信托 新浪财经 2020年9月21日 19:37\n",
      "https://baijiahao.baidu.com/s?id=1678446376534268754&amp;wfr=spider&amp;for=pc\n",
      "2....将所持临沂鲁商44.1%股权收益权以不低于4亿元转让予华能贵诚信托 界面新闻 2020年9月21日 18:54\n",
      "https://www.jiemian.com/article/5016303.html\n",
      "3.山沟沟里的“露天影院”_政务_澎湃新闻-The Paper 澎湃新闻 2020年9月10日 11:33\n",
      "http://www.thepaper.cn/newsDetail_forward_9111455\n",
      "4.信托周报(9月7日) 界面新闻 2020年9月7日 07:46\n",
      "https://www.jiemian.com/article/4943149.html\n",
      "5.广誉远:2020中报净利润0.43亿 同比下降63.25% 同花顺财经 2020年8月28日 17:46\n",
      "http://stock.10jqka.com.cn/20200828/c623218571.shtml\n",
      "6.二季度企业ABS排名出炉 华能贵诚信托意外进入前二十强 每日经济新闻 2020年8月12日 22:52\n",
      "https://baijiahao.baidu.com/s?id=1674831777337084320&amp;wfr=spider&amp;for=pc\n",
      "7.信托市场简报:15亿信托案牵出德御系 金融界 2020年7月24日 09:37\n",
      "https://baijiahao.baidu.com/s?id=1673060506587845477&amp;wfr=spider&amp;for=pc\n",
      "8.信托公司信托产品信息更新-2020年7月17日 天禄好信托 2020年7月20日 08:35\n",
      "https://baijiahao.baidu.com/s?id=1672694002102922809&amp;wfr=spider&amp;for=pc\n",
      "9.犀牛财经早报:趣头条从安卓平台下架 嗨学网涉事子公司停业整顿 腾讯网 2020年7月17日 09:27\n",
      "https://new.qq.com/omn/20200717/20200717A04WHE00.html\n",
      "10.信托业上半年业绩曝光 排名较往年变化非常大 新浪财经 2020年7月17日 06:12\n",
      "https://baijiahao.baidu.com/s?id=1672414505263097462&amp;wfr=spider&amp;for=pc\n",
      "华能信托第3页爬取成功\n",
      "1.信托周报(6月15日) 界面新闻 2020年6月15日 09:11\n",
      "https://www.jiemian.com/article/4526749.html\n",
      "2.12家信托公司债券承销业务战果初现:华润华能数量规模领先 金融界 2020年6月9日 17:03\n",
      "https://baijiahao.baidu.com/s?id=1669011890557160009&amp;wfr=spider&amp;for=pc\n",
      "3.最高院:政府机关不得作为保证人,但在特定情况下兜底是有效的 金融法务思考笔记 2020年6月6日 15:26\n",
      "https://baijiahao.baidu.com/s?id=1668733487409961114&amp;wfr=spider&amp;for=pc\n",
      "4.运达科技 可交债是否转股成关注焦点 东方财富网 2020年6月2日 06:20\n",
      "http://finance.eastmoney.com/a/202006021505599816.html\n",
      "5.泰禾的生死线:引入战投、保卫股价和672亿元到期债务 36kr 2020年5月18日 11:27\n",
      "https://36kr.com/p/712709812001282\n",
      "6.信托日报(5月15日) 财联社 2020年5月15日 08:25\n",
      "https://baijiahao.baidu.com/s?id=1666714133697054281&amp;wfr=spider&amp;for=pc\n",
      "7.“华能信托•尊悦晟鑫慈善信托计划” 关爱抗疫一线医务人员子女 澎湃新闻 2020年3月10日 18:42\n",
      "http://www.thepaper.cn/newsDetail_forward_6440706\n",
      "8.北大科技园16.81亿元ABN违约 华能信托为发行载体管理机构 新浪财经 2020年3月8日 21:50\n",
      "https://baijiahao.baidu.com/s?id=1660604404589111477&amp;wfr=spider&amp;for=pc\n",
      "9.【调研快报】贝因美接待华能贵诚信托等47家机构调研 东方财富网 2020年2月20日 19:55\n",
      "http://stock.eastmoney.com/a/202002201391235415.html\n",
      "10.「0215」信托数据研报-小貔貅出品 小貔貅WealthTech 2020年2月17日 08:51\n",
      "https://baijiahao.baidu.com/s?id=1658630311897984722&amp;wfr=spider&amp;for=pc\n",
      "华能信托第4页爬取成功\n",
      "1.60家信托公司2019年财报透视:近七成信托公司业绩增长 首尾盈利... 金融界 2020年1月20日 04:02\n",
      "https://baijiahao.baidu.com/s?id=1656191724578491142&amp;wfr=spider&amp;for=pc\n",
      "2.57家信托业绩哪家强?中信、华能贵诚、重庆信托稳坐前三 东方财富网 2020年1月19日 16:33\n",
      "http://finance.eastmoney.com/a/202001191362215664.html\n",
      "3.60家信托公司披露2019业绩 企业观察网 2020年1月17日 13:23\n",
      "http://www.cneo.com.cn/portal.php?mod=view&amp;aid=156269\n",
      "4.关于为“华能信托-链融科技诚意2期供应链金融资产支持专项计划... 金融界 2020年1月16日 23:10\n",
      "https://baijiahao.baidu.com/s?id=1655898613708232365&amp;wfr=spider&amp;for=pc\n",
      "5.史上最全整理!中国68家信托公司踩雷延期超级汇总! 腾讯网 2020年1月1日 00:00\n",
      "https://new.qq.com/omn/20200101/20200101A0J74M00.html?pgv_ref=aio2015\n",
      "6.牧原股份:拟与华能信托共设立扶沟牧华和宁陵牧华 新浪财经 2019年12月30日 20:44\n",
      "https://baijiahao.baidu.com/s?id=1654348868905681403&amp;wfr=spider&amp;for=pc\n",
      "7.2019年前三季度资产证券化排行榜 金牛基金网 2019年12月24日 14:47\n",
      "http://www.jnlc.com/article/20191224253394.shtml\n",
      "8.牧原股份联合华能信托 拟72亿元设立两家养猪子公司 同花顺财经 2019年12月11日 22:28\n",
      "https://baijiahao.baidu.com/s?id=1652633925599763416&amp;wfr=spider&amp;for=pc\n",
      "9.牧原股份生猪养殖多地开花 借力华能信托找钱 财新 2019年12月11日 10:32\n",
      "http://www.caixin.com/2019-12-11/101492956.html\n",
      "10.牧原股份拟设两合资公司,并向全资子公司增资近26亿 新京报贝壳财经 2019年12月11日 00:12\n",
      "https://baijiahao.baidu.com/s?id=1652549807446674398&amp;wfr=spider&amp;for=pc\n",
      "华能信托第5页爬取成功\n",
      "1.牧原股份(002714.SZ)拟与华能信托共设淮北牧华、滑县牧华暨向公司... 金融界 2019年12月10日 21:08\n",
      "https://baijiahao.baidu.com/s?id=1652539227465921438&amp;wfr=spider&amp;for=pc\n",
      "2.「11月」信托数据研报-小貔貅出品 小貔貅WealthTech 2019年12月1日 07:00\n",
      "https://baijiahao.baidu.com/s?id=1651606575360557359&amp;wfr=spider&amp;for=pc\n",
      "3.牧原股份募资232亿应付账款仍激增33亿 秦英林超百亿扩张难避“猪... 中国经济网 2019年11月18日 08:35\n",
      "http://finance.ce.cn/stock/gsgdbd/201911/18/t20191118_33628657.shtml\n",
      "4.关于为“华能信托-一方诚意1期供应链金融资产支持专项计划”提供... 金融界 2019年11月14日 21:50\n",
      "https://baijiahao.baidu.com/s?id=1650185526477067896&amp;wfr=spider&amp;for=pc\n",
      "5.大手笔!华能信托拟投资不超100亿与A股“猪首富”合伙养猪 新浪财经 2019年11月11日 18:19\n",
      "https://baijiahao.baidu.com/s?id=1649901237571345309&amp;wfr=spider&amp;for=pc\n",
      "6.超级猪周期来临 华能信托投资100亿养猪 华夏时报 2019年11月11日 16:59\n",
      "https://baijiahao.baidu.com/s?id=1649898802155106911&amp;wfr=spider&amp;for=pc\n",
      "7.牧原股份与华能信托共同投资设立合资公司 挖贝网 2019年11月11日 11:46\n",
      "https://baijiahao.baidu.com/s?id=1649875613939838317&amp;wfr=spider&amp;for=pc\n",
      "8.牧原股份与华能信托决定签署《战略合作协议书》 挖贝网 2019年11月11日 11:46\n",
      "https://baijiahao.baidu.com/s?id=1649875612470146887&amp;wfr=spider&amp;for=pc\n",
      "9.100亿 华能信托助阵牧原食品“合伙养猪” 亿邦动力网 2019年11月10日 15:18\n",
      "http://www.ebrun.com/ebrungo/zb/358418.shtml\n",
      "10.信托公司也养猪?月薪2万招人答案揭晓,牧原股份、华能信托各砸百亿... 新浪财经 2019年11月9日 09:58\n",
      "https://baijiahao.baidu.com/s?id=1649688145823162740&amp;wfr=spider&amp;for=pc\n",
      "华能信托第6页爬取成功\n",
      "1.牧原股份签约华能信托:拟210亿元投资生猪养殖项目 大河财立方 2019年11月8日 20:55\n",
      "https://baijiahao.baidu.com/s?id=1649638353021951639&amp;wfr=spider&amp;for=pc\n",
      "2.牧原股份:拟与华能信托合资设立经营生猪养殖项目的标的公司 新浪财经 2019年11月8日 20:52\n",
      "https://baijiahao.baidu.com/s?id=1649645072715338490&amp;wfr=spider&amp;for=pc\n",
      "3.牧原股份(002714.SZ)拟与华能信托共设两家合资公司 进一步扩大... 新浪财经 2019年11月8日 20:41\n",
      "https://baijiahao.baidu.com/s?id=1649640994569630555&amp;wfr=spider&amp;for=pc\n",
      "4.牧原股份:拟与华能信托合资设立生猪养殖公司 新浪财经 2019年11月8日 20:41\n",
      "https://baijiahao.baidu.com/s?id=1649637885368976648&amp;wfr=spider&amp;for=pc\n",
      "5.信托舆情周报 华能信托已被移出经营异常名录 胜泰智慧 2019年11月7日 11:41\n",
      "https://baijiahao.baidu.com/s?id=1649512883694347044&amp;wfr=spider&amp;for=pc\n",
      "6.国祯环保(300388.SZ):华能信托累计减持82.52万张国祯转债 中金在线 2019年11月5日 18:02\n",
      "http://sc.stock.cnfol.com/ggzixun/20191105/27767385.shtml\n",
      "7.刚获得A类监管评级 华能信托就被列入经营异常名录 新浪财经 2019年10月31日 21:36\n",
      "https://baijiahao.baidu.com/s?id=1648919302483260099&amp;wfr=spider&amp;for=pc\n",
      "8.华能贵诚信托因“公示信息弄虚作假”被列入经营异常名录 手机凤凰网 2019年10月31日 13:01\n",
      "https://finance.ifeng.com/c/7rDcFOIQwvw\n",
      "9.华能贵诚信托因“公示企业信息隐瞒真实情况、弄虚作假”被列入... 第一财经 2019年10月31日 12:50\n",
      "https://www.yicai.com/news/100385125.html\n",
      "10.华能贵诚信托因弄虚作假被列入经营异常名录 回应:因此前报送数据... 新浪财经 2019年10月30日 15:49\n",
      "https://baijiahao.baidu.com/s?id=1648805712083270769&amp;wfr=spider&amp;for=pc\n",
      "华能信托第7页爬取成功\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1.华能信托刘芳:在家族传承中 信托是多种功能的附加体 金融界 2019年10月29日 14:36\n",
      "https://baijiahao.baidu.com/s?id=1648708664137012235&amp;wfr=spider&amp;for=pc\n",
      "2.华能信托副总经理刘芳:信托不仅是投融资工具,更是多种功能的附加体 腾讯网 2019年10月27日 18:10\n",
      "https://new.qq.com/omn/20191027/20191027A0E9MI00.html\n",
      "3.中国LP 在哪里(上)_详细解读_最新资讯_热点事件_36氪 36kr 2019年10月6日 00:00\n",
      "https://36kr.com/p/1724461449217\n",
      "4.世茂集团20亿元住房租赁信托ABS获上交所受理 房天下 2019年9月6日 15:13\n",
      "https://news.fang.com/open/33425467.html\n",
      "5.【调研快报】好太太接待华能贵诚信托等32家机构调研 东方财富网 2019年9月2日 17:06\n",
      "http://stock.eastmoney.com/a/201909021225303614.html\n",
      "6.信托公司2019年上半年经营业绩概览 中国金融新闻网 2019年7月23日 14:08\n",
      "https://www.financialnews.com.cn/trust/hyzx/201907/t20190723_164496.html\n",
      "7.华能贵诚信托孙磊:金融科技助力打造开放信托生态 同花顺财经 2019年7月17日 10:49\n",
      "https://baijiahao.baidu.com/s?id=1639276579449041925&amp;wfr=spider&amp;for=pc\n",
      "8.华能贵诚信托孙磊:金融科技已经成为信托行业重要的基础设施 腾讯网 2019年7月16日 19:01\n",
      "https://new.qq.com/omn/FIN20190/FIN2019071600789800.html\n",
      "9.华能信托参加格力电器意向投资者见面会,背后现国务院国资委身影 第一财经 2019年5月22日 18:49\n",
      "https://www.yicai.com/brief/100197618.html\n",
      "10.直击格力电器意向投资者见面会:参会者华能信托背后现国务院国资委... 每日经济新闻 2019年5月22日 18:43\n",
      "https://baijiahao.baidu.com/s?id=1634228460449046218&amp;wfr=spider&amp;for=pc\n",
      "华能信托第8页爬取成功\n",
      "1.格力电器股权转让意向投资者见面会召开 自称华能信托的人士到场 每日经济新闻 2019年5月22日 15:36\n",
      "https://baijiahao.baidu.com/s?id=1634217129161552786&amp;wfr=spider&amp;for=pc\n",
      "2.2018年信托业人均创利304万元 华润、华能贵诚跌出万亿俱乐部 东方财富网 2019年5月12日 16:00\n",
      "http://finance.eastmoney.com/a/201905121120104455.html\n",
      "3.房企和信托公司联姻?外界传言泰禾集团将华能信托作为战投目标引进 金融界 2019年4月17日 11:27\n",
      "https://baijiahao.baidu.com/s?id=1631049020930873849&amp;wfr=spider&amp;for=pc\n",
      "4.华能贵诚信托换帅,孙磊出任总经理 第一财经 2019年3月26日 20:05\n",
      "https://www.yicai.com/news/100148162.html\n",
      "5.华能信托换帅总经理孙磊任职资格获批 东方财富网 2019年3月25日 18:38\n",
      "http://finance.eastmoney.com/a/201903251078957051.html\n",
      "6.2019年到期债务达590亿!泰禾集团找华能信托来救命 金融界 2019年3月22日 15:39\n",
      "https://baijiahao.baidu.com/s?id=1628690516194416021&amp;wfr=spider&amp;for=pc\n",
      "7.三棵树实际控制人洪杰质押350万股 公司去年营收同比增长36% 东方财富网 2019年3月15日 07:50\n",
      "http://finance.eastmoney.com/a/201903151070272124.html\n",
      "8.超六成信托公司2018年净利下滑 红网 2019年1月21日 12:03\n",
      "http://money.rednet.cn/content/2019/01/21/4711649.html\n",
      "9.华能信托、东莞信托昨日双双增资 今年信托公司注册资本增加总额逾... 和讯网 2018年12月1日 01:38\n",
      "http://trust.hexun.com/2018-12-01/195385059.html\n",
      "10.时隔近两年再次增资 华能信托注册资本增至61.95亿元 每日经济新闻 2018年11月30日 18:04\n",
      "http://www.nbd.com.cn/articles/2018-11-30/1277705.html\n",
      "华能信托第9页爬取成功\n",
      "1.世茂10亿资产支持证券ABS 已回复交易所意见 东方财富网 2018年11月7日 12:53\n",
      "http://finance.eastmoney.com/a/20181107979377696.html\n",
      "2.北京丰台地王多变数 “接盘侠”泰禾借道信托融资 金融界 2018年10月31日 11:07\n",
      "https://baijiahao.baidu.com/s?id=1615808644493447998&amp;wfr=spider&amp;for=pc\n",
      "3.打破垄断!首单信托作管理人企业ABS获受理 每日经济新闻 2018年10月17日 00:35\n",
      "https://baijiahao.baidu.com/s?id=1614500500266051473&amp;wfr=spider&amp;for=pc\n",
      "4.哈市14家热企进行打压试水可随时供热 涉131万热用户 东北网 2018年9月19日 07:09\n",
      "https://heilongjiang.dbw.cn/system/2018/09/19/058073232.shtml\n",
      "5.肖钢密集调研资产证券化业务 走访华能信托和中信信托 中证网 2018年9月13日 19:01\n",
      "http://www.cs.com.cn/jg/06/201809/t20180913_5872627.html\n",
      "6.轻资产融资世茂发行首单住房租赁ABS 东方财富网 2018年7月19日 03:11\n",
      "https://baijiahao.baidu.com/s?id=1606356621196388022&amp;wfr=spider&amp;for=pc\n",
      "7.华能信托总经理金志培:五大秘诀塑造核心竞争力 金融界 2018年7月18日 03:46\n",
      "https://baijiahao.baidu.com/s?id=1606313790575063126&amp;wfr=spider&amp;for=pc\n",
      "8.严监管!银监局开罚单:剑指结构化信托产品、非标投资业务违规! 东方财富网 2018年7月15日 08:16\n",
      "http://finance.eastmoney.com/news/1345,20180714906838591.html\n",
      "9.因持有股票超过资产净值20% 华能贵诚信托公司被罚20万元 手机凤凰网 2018年7月13日 16:45\n",
      "https://finance.ifeng.com/c/7eVV6S3YQCG\n",
      "10.华能贵诚信托违法炒股 持单家公司股票超产品净值20% 中国经济网 2018年7月13日 15:49\n",
      "http://finance.ce.cn/rolling/201807/13/t20180713_29739610.shtml\n",
      "华能信托第10页爬取成功\n",
      "1.研究人员已经开发出可以识别COVID-19者咳嗽的AI 电子发烧友 5分钟前\n",
      "http://m.elecfans.com/article/1422693.html\n",
      "2.我们创造的世界需要人工智能(AI)和自动化 电子发烧友 14分钟前\n",
      "http://m.elecfans.com/article/1422674.html\n",
      "3.英特尔李德胜:企业开始通过多模态、多技术融合提升AI应用能力 中国机器人网 15分钟前\n",
      "http://www.robot-china.com/news/202012/16/64973.html\n",
      "4.直击NVIDIA GTC20:AI性能翻倍 黄氏定律真香 iTopLife 24分钟前\n",
      "https://baijiahao.baidu.com/s?id=1686212576084312763&amp;wfr=spider&amp;for=pc\n",
      "5.【瓣瓣同心·携手共进】京雄教育协同发展!人工智能教学培育“未来... 中国新闻网 25分钟前\n",
      "http://www.chinanews.com/gn/2020/12-16/9363517.shtml\n",
      "6.思贤科技入选英特尔AI百佳计划第四期创新团队 钛克风暴 25分钟前\n",
      "http://www.kejixun.com/article/201216/514594.shtml\n",
      "7.“AI 监工”将人类将处于被管辖和被监督之下 电子发烧友 35分钟前\n",
      "http://m.elecfans.com/article/1366890.html\n",
      "8.扬州黄珏学校学生荣获省首届人工智能大赛一等奖 中国江苏网 36分钟前\n",
      "http://edu.jschina.com.cn/xx/202012/t20201216_6914950.shtml\n",
      "9.人工智能素养必须具有整体方法 电子发烧友 37分钟前\n",
      "http://m.elecfans.com/article/1422627.html\n",
      "10.华为云ModelArts 3.0助力行业AI高效落地 CSDN 49分钟前\n",
      "https://baijiahao.baidu.com/s?id=1686211018865033052&amp;wfr=spider&amp;for=pc\n",
      "人工智能第1页爬取成功\n",
      "1.阳讯互动李沐阳:人工智能时代,服务仍是技术发展的最终目标 网易新闻 53分钟前\n",
      "http://dy.163.com/article/FTVK5OH80511B7RQ.html\n",
      "2.GSMA斯寒:5G和人工智能要实现生态的“和合共生” 环球网 59分钟前\n",
      "https://baijiahao.baidu.com/s?id=1686210650896766164&amp;wfr=spider&amp;for=pc\n",
      "3.架构师成长计划:把握AI生涯的平衡与火候|Q推荐 腾讯网 1小时前\n",
      "https://new.qq.com/omn/20201216/20201216A06CIT00.html\n",
      "4.小库科技人工智能设计云平台获“2020精瑞人居奖” 中华网科技 1小时前\n",
      "https://tech.china.com/article/20201216/122020_675667.html\n",
      "5.当机器人叠加人工智能,打造最合适宜机器人 澎湃新闻 1小时前\n",
      "http://www.thepaper.cn/newsDetail_forward_10415358\n",
      "6.李开复回顾2020:过去一年疫情对AI的推动可能相当三年 新浪科技 1小时前\n",
      "https://baijiahao.baidu.com/s?id=1686210339055735829&amp;wfr=spider&amp;for=pc\n",
      "7.2021年AI网络安全发展趋势|人工智能|网络安全|恶意软件 腾讯网 1小时前\n",
      "http://new.qq.com/omn/20171106/20201216A0641U00.html\n",
      "8.多国人工智能产业加速发展:应用前景广阔 助益经济增效 红商网 2小时前\n",
      "http://www.redsh.com/a/20201216/120920.shtml\n",
      "9.2019世界人工智能大会上,马斯克和马云都说了啥 新浪财经 2小时前\n",
      "https://baijiahao.baidu.com/s?id=1686079536720270545&amp;wfr=spider&amp;for=pc\n",
      "10.浅谈将人工智能与物联网进行集成的好处会有哪些|极客云算 极客云算IPFS 2小时前\n",
      "https://baijiahao.baidu.com/s?id=1686205103245934946&amp;wfr=spider&amp;for=pc\n",
      "人工智能第2页爬取成功\n",
      "1.搞AI,在不断精进自己代码的同时,更应该阅读大量论文 电子发烧友 2小时前\n",
      "http://m.elecfans.com/article/1422529.html\n",
      "2.Google现在宣布了一种新的人工智能模型 电子发烧友 2小时前\n",
      "http://m.elecfans.com/article/1422512.html\n",
      "3.历史性突破 西电首获“挑战杯”大学生创业计划竞赛“优胜杯” 澎湃新闻 2小时前\n",
      "http://www.thepaper.cn/newsDetail_forward_10415509\n",
      "4.MEET2021智能未来大会今日举行,李开复分享年度AI趋势 TechWeb 2小时前\n",
      "https://baijiahao.baidu.com/s?id=1686203400565340896&amp;wfr=spider&amp;for=pc\n",
      "5.拜登顾问:不让中国进入人工智能、机器人或5G等保持尖端地位 网易新闻 2小时前\n",
      "http://dy.163.com/article/FTVD569F05421U51.html\n",
      "6.龙池生物:复杂推理和表示学习的系统将为人工智能带来巨大的进步 肥皂秦 2小时前\n",
      "https://baijiahao.baidu.com/s?id=1686202995847465703&amp;wfr=spider&amp;for=pc\n",
      "7.拜登顾问:人工智能,机器人和5G必须追上中国,美国能实现吗? 霹雳火观察 3小时前\n",
      "https://baijiahao.baidu.com/s?id=1686202402037877202&amp;wfr=spider&amp;for=pc\n",
      "8.创新奇智完成中金甲子领投的C轮融资,跻身人工智能独角兽 亿欧网 3小时前\n",
      "https://baijiahao.baidu.com/s?id=1686196760490544714&amp;wfr=spider&amp;for=pc\n",
      "9.北京链家AI讲盘大赛收官 科技赋能行业服务能力再升级 中国产业经济信息网 3小时前\n",
      "http://www.cinic.org.cn/zgzz/qy/996408.html\n",
      "10.人工智能探测长寿人群的“心”密码,「Deep Longevity」发表全球首... 36kr 3小时前\n",
      "http://36kr.com/p/1012735771516295.html\n",
      "人工智能第3页爬取成功\n",
      "1.人工智能如何改善可持续性 电子发烧友 3小时前\n",
      "http://m.elecfans.com/article/1422429.html\n",
      "2.人工智能医疗初创公司已经与Mayo Clinic建立了合作伙伴关系 电子发烧友 3小时前\n",
      "http://m.elecfans.com/article/1422403.html\n",
      "3.人工智能来了,数据就是艺术的最新颜料! 网易新闻 3小时前\n",
      "http://dy.163.com/article/FTVBE8R90542OQO6.html\n",
      "4.创新非遗传承,靠人工智能如何实现? 中国侨网 3小时前\n",
      "http://www.chinaqw.com/zhwh/2020/12-16/279796.shtml\n",
      "5.《AI教育白皮书:智能时代的教育变革与创新实践》正式发布 金台资讯 3小时前\n",
      "https://baijiahao.baidu.com/s?id=1686200608632387510&amp;wfr=spider&amp;for=pc\n",
      "6.5G+天翼云+AI成产业发展新动力 电子发烧友 3小时前\n",
      "http://m.elecfans.com/article/1422331.html\n",
      "7.世界上最古老的国防智库得出结论 英国间谍需要人工智能 四川熙晟商业运营 3小时前\n",
      "https://baijiahao.baidu.com/s?id=1686199227438906228&amp;wfr=spider&amp;for=pc\n",
      "8.创新奇智完成C轮融资,跻身人工智能独角兽 网易新闻 4小时前\n",
      "http://dy.163.com/article/FTV91HFF0531NGS6.html\n",
      "9.腾讯副总裁王巨宏:人工智能在“光盘行动”中在300多所学校运用 网易新闻 4小时前\n",
      "http://dy.163.com/article/FTV8SUVG0511N6S4.html\n",
      "10.超算中心一年电费就超两亿,大数据和人工智能如何解决能耗难题? 腾讯网 4小时前\n",
      "http://new.qq.com/omn/20171106/20201216V037V500.html\n",
      "人工智能第4页爬取成功\n",
      "1.人工智能和数据科学的必须组件——数据集介绍-01 宝哥智能研习社 4小时前\n",
      "https://baijiahao.baidu.com/s?id=1686197483490863683&amp;wfr=spider&amp;for=pc\n",
      "2.人工智能步态识别技术的优势和应用场景 电子发烧友 4小时前\n",
      "http://m.elecfans.com/article/1422242.html\n",
      "3.百度联合中国发展研究基金会发布智能经济白皮书 BATH领衔科技新基建 网易新闻 4小时前\n",
      "https://news.163.com/20/1216/10/FTV8RO9F00019OH3.html\n",
      "4.中国未来人工智能龙头 这家A股上市企业关注度高 股城网 4小时前\n",
      "http://stock.gucheng.com/202012/3988197.shtml\n",
      "5.监管机构已将AI诊断用例标记为医疗诊断中的各种场景 电子发烧友 4小时前\n",
      "http://m.elecfans.com/article/1422198.html\n",
      "6.2020“一带一路”首届人工智能训练与应用大赛在鄠邑区开幕 鄠邑宣传 4小时前\n",
      "https://baijiahao.baidu.com/s?id=1686195798643005284&amp;wfr=spider&amp;for=pc\n",
      "7.一高校男生打造全智能寝室 一系列炫酷操作秀翻众人 电子发烧友 4小时前\n",
      "http://m.elecfans.com/article/1422167.html\n",
      "8.六部门:广泛运用5G、人工智能等技术建设智慧物业管理服务平台 大众网济宁站 4小时前\n",
      "http://jining.dzwww.com/fc/xt/202012/t20201216_7291844.htm\n",
      "9.Skylum推AI照片编辑器Luminar AI 环球网 5小时前\n",
      "https://baijiahao.baidu.com/s?id=1686195511646122346&amp;wfr=spider&amp;for=pc\n",
      "10.当人工智能走进直播间,你会买机器人卖的货吗? 娱乐硬糖 5小时前\n",
      "https://baijiahao.baidu.com/s?id=1686194956498026086&amp;wfr=spider&amp;for=pc\n",
      "人工智能第5页爬取成功\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1.人工智能为能源领域减排添动力 网易新闻 5小时前\n",
      "http://dy.163.com/article/FTV5BLPH05509P99.html\n",
      "2.《解放日报》人工智能赋能流程制造 华东理工大学 5小时前\n",
      "https://news.ecust.edu.cn/2020/1215/c160a157650/page.htm\n",
      "3.【文汇网】人工智能赋能流程制造产业高质量发展,流程制造科技创新... 华东理工大学 5小时前\n",
      "https://news.ecust.edu.cn/2020/1214/c160a157635/page.htm\n",
      "4.华北工控 | 无人车广州开跑,人工智能再掀“自动驾驶”热潮 数字音视工程网 5小时前\n",
      "http://www.dav01.com/article/2020/12/a6241132.html\n",
      "5.物联网、大数据、云计算、人工智能之间,有何区别与联系? 科技无忧 5小时前\n",
      "https://baijiahao.baidu.com/s?id=1686193856676357993&amp;wfr=spider&amp;for=pc\n",
      "6.中国信通院:2020年中国人工智能产业规模大约3100亿元 大洋网 5小时前\n",
      "https://news.dayoo.com/finance/202012/16/139999_53712857.htm\n",
      "7.人工智能竞彩命中惊天冷门 足彩11连红&amp;近17中16 网易体育 5小时前\n",
      "https://sports.163.com/20/1216/08/FTV3HP2R00058MJK.html\n",
      "8.字节跳动即将再招10000人,但是抱歉,他们只招实干型AI算法工程师 电子工程专辑 5小时前\n",
      "https://www.eet-china.com/mp/a34114.html\n",
      "9.医疗AI产品三类证接连获批,有何启示?|人工智能|深睿医疗|医疗ai|... 腾讯网 5小时前\n",
      "https://xw.qq.com/cmsid/20201216A01U4500?ADTAG=baidutw\n",
      "10.掌握学生知识情况 AI为科学教育评价提供支撑 腾讯网 5小时前\n",
      "http://new.qq.com/omn/20171106/20201216A01WYB00.html\n",
      "人工智能第6页爬取成功\n",
      "1.增強內生動力 AI還需突破三大關卡 人民网 6小时前\n",
      "http://it.people.com.cn/BIG5/n1/2020/1216/c1009-31967751.html\n",
      "2.火爆全网的各种Ai课,到底是什么? 腾讯网 6小时前\n",
      "http://new.qq.com/omn/20171106/20201216A01OMN00.html\n",
      "3.奔跑吧,让AI做你的眼睛 环球网 6小时前\n",
      "https://baijiahao.baidu.com/s?id=1686189888674414940&amp;wfr=spider&amp;for=pc\n",
      "4.在如今看脸的时代,人工智能可以通过照片分析你的性格? 方平解数码 6小时前\n",
      "https://baijiahao.baidu.com/s?id=1686189434654471811&amp;wfr=spider&amp;for=pc\n",
      "5.海创企业中星微获“2020年人工智能芯片技术创新企业奖” 人民日报 9小时前\n",
      "http://paper.people.com.cn/rmrbhwb/html/2020-12/16/content_2023774.htm\n",
      "6.长三角G60科创走廊人工智能产业要素对接会在松江举行 潇湘晨报 11小时前\n",
      "https://baijiahao.baidu.com/s?id=1686171025768634602&amp;wfr=spider&amp;for=pc\n",
      "7.2020,来“盘”|2020,AI注智时代 通信世界 13小时前\n",
      "https://baijiahao.baidu.com/s?id=1686163652244928383&amp;wfr=spider&amp;for=pc\n",
      "8.新型光学传感器模仿人眼感知更逼真有望带来图像识别、人工智能等... 潇湘晨报 13小时前\n",
      "https://baijiahao.baidu.com/s?id=1686163537098967789&amp;wfr=spider&amp;for=pc\n",
      "9.AI生成技术被写入行业标准 影谱科技稳占第一梯队 中关村大数据产业联盟 13小时前\n",
      "https://baijiahao.baidu.com/s?id=1686162168704630142&amp;wfr=spider&amp;for=pc\n",
      "10.2020全国职业院校人工智能人才培养论坛在陕西国防职院圆满举办 陕西高校资讯 2020年12月15日 23:03\n",
      "https://baijiahao.baidu.com/s?id=1686157007888448744&amp;wfr=spider&amp;for=pc\n",
      "人工智能第7页爬取成功\n",
      "1.“2020金砖大赛之人工智能训练师大赛”举行 中国经济网 2020年12月15日 22:56\n",
      "http://www.ce.cn/xwzx/gnsz/gdxw/202012/15/t20201215_36119755.shtml\n",
      "2.微软举行数字化转型峰会 加速发掘数据智能 腾讯网 2020年12月15日 22:52\n",
      "https://xw.qq.com/cmsid/20201215A0HVLL00\n",
      "3.重庆发家、广州注册、上海经营!云从科技果然“人工智能” 闺蜜财经 2020年12月15日 22:35\n",
      "https://baijiahao.baidu.com/s?id=1686155203485342441&amp;wfr=spider&amp;for=pc\n",
      "4.AI资本寒冬下,融资缩水近八成,英特尔凭什么三年打造千亿产值? 创业邦传媒 2020年12月15日 22:21\n",
      "https://baijiahao.baidu.com/s?id=1686154344044512430&amp;wfr=spider&amp;for=pc\n",
      "5.油气人工智能产学研创新联盟举办第四届石油石化人工智能高端论坛 澎湃新闻 2020年12月15日 22:15\n",
      "http://www.thepaper.cn/newsDetail_forward_10408667\n",
      "6.非遗传承创新,可以靠人工智能吗? 腾讯网 2020年12月15日 22:02\n",
      "https://new.qq.com/omn/20201215/20201215A0H6CT00.html\n",
      "7.人工智能弯道超车的机遇来啦,我国建成全球最大5G网络 耀哥说 2020年12月15日 21:59\n",
      "https://baijiahao.baidu.com/s?id=1686150650921390897&amp;wfr=spider&amp;for=pc\n",
      "8.Oracle(南京)人工智能数字科技人才创新中心落户南京建邺 36kr 2020年12月15日 20:58\n",
      "http://36kr.com/p/1011946488729475.html\n",
      "9.人工智能行业数据分析:2020年中国66.8%受访者看好人工智能发展前景 云掌财经 2020年12月15日 20:33\n",
      "http://tech.123.com.cn/show/436952.html\n",
      "10.2020一带一路暨金砖国家技能发展与技术创新大赛 首届人工智能训练... 云南网 2020年12月15日 20:10\n",
      "http://edu.yunnan.cn/system/2020/12/15/031180489.shtml\n",
      "人工智能第8页爬取成功\n",
      "1.马斯克谈人工智能:如果不谨慎对待,很可能成为终结者 互联资本说 2020年12月15日 20:07\n",
      "https://baijiahao.baidu.com/s?id=1686145921349205643&amp;wfr=spider&amp;for=pc\n",
      "2.第三代人工智能基础设施背后,是一次技术应用的常识普及运动 脑极体 2020年12月15日 20:04\n",
      "https://baijiahao.baidu.com/s?id=1686145707762363541&amp;wfr=spider&amp;for=pc\n",
      "3.打造“工业大脑” !华理助力人工智能赋能流程制造! 澎湃新闻 2020年12月15日 19:06\n",
      "http://www.thepaper.cn/newsDetail_forward_10409289\n",
      "4.施密特·灵晞 人工智能保温杯——让懂你的更懂你 搞机波ei 2020年12月15日 18:59\n",
      "https://baijiahao.baidu.com/s?id=1686141647811451952&amp;wfr=spider&amp;for=pc\n",
      "5.报告:2020年中国人工智能服务器约占全球市场的三分之一 中国新闻网 2020年12月15日 18:45\n",
      "https://baijiahao.baidu.com/s?id=1686141057348567702&amp;wfr=spider&amp;for=pc\n",
      "6.腾讯「云深智药」用AI持续助力药物发现 电子发烧友 2020年12月15日 18:31\n",
      "http://m.elecfans.com/article/1421675.html\n",
      "7.AI赋能教育的中国探索 世界智能大会 2020年12月15日 18:02\n",
      "https://baijiahao.baidu.com/s?id=1686138068126432228&amp;wfr=spider&amp;for=pc\n",
      "8.杨澜为西瓜创客带货:编程将成为一个人的底层能力 网易新闻 2020年12月15日 17:56\n",
      "https://news.163.com/20/1215/18/FTTHS1O900019OH3.html\n",
      "9.AI独角兽成立仅5年 云从科技IPO是突围还是涅槃? 网易新闻 2020年12月15日 17:30\n",
      "http://dy.163.com/article/FTTG4TIP05118HA4.html\n",
      "10.吃下人工智能这片“记忆面包”,丢失的将是阅读的快乐,你怎么选 大树成长营 2020年12月15日 17:25\n",
      "https://baijiahao.baidu.com/s?id=1686135697580351384&amp;wfr=spider&amp;for=pc\n",
      "人工智能第9页爬取成功\n",
      "1.上海国家会计学院陈宏志:人工智能技术在预算管理业务预测中的应用... MBA中国网 2020年12月15日 17:02\n",
      "https://www.mbachina.com/html/zx/202012/276138.html\n",
      "2.张家口智慧互通入选工信部人工智能优秀产品 河北新闻网 2020年12月15日 17:00\n",
      "https://baijiahao.baidu.com/s?id=1686134150367753576&amp;wfr=spider&amp;for=pc\n",
      "3.逆势生长 入选重量级双榜单 知因荣登2020全球人工智能科技创新TOP... 新华网客户端 2020年12月15日 17:00\n",
      "http://www.xinhuanet.com/money/2020-12/15/c_1210932613.htm\n",
      "4.2021年AI将在这三大方面发展 电子发烧友 2020年12月15日 16:43\n",
      "http://m.elecfans.com/article/1421430.html\n",
      "5.毛利率上升 增速超300% 人工智能“国家队”云从科技冲击陆科创 创投网 2020年12月15日 16:39\n",
      "http://www.xunjk.com/xinwen/cy/2020/1215/122020_123954.html\n",
      "6.合合信息李明:AI+大数据已成为企业数据化转型最关键因素之一 YNET.com北青网 2020年12月15日 16:28\n",
      "http://finance.ynet.com/2020/12/15/3046881t632.html\n",
      "7.【极道智能数据系统】直击AI训练痛点,助力自动驾驶 硬派科技 2020年12月15日 16:13\n",
      "http://www.inpai.com.cn/news/redian/2020/1215/122020_71055.html\n",
      "8.士卓曼携手羽医甘蓝推动口腔诊疗走进“人工智能时代” 中国网科技 2020年12月15日 16:11\n",
      "https://baijiahao.baidu.com/s?id=1686132455966251101&amp;wfr=spider&amp;for=pc\n",
      "9.传音控股荣获第十届吴文俊人工智能科技进步奖 财经看点讯 2020年12月15日 16:10\n",
      "https://baijiahao.baidu.com/s?id=1686130993387828548&amp;wfr=spider&amp;for=pc\n",
      "10.第九届中国电子信息博览会明年4月举办,将展示人工智能、5G和物联... 手机凤凰网 2020年12月15日 16:09\n",
      "https://finance.ifeng.com/c/82DvrcqzPEO\n",
      "人工智能第10页爬取成功\n",
      "1.科技公司玩“买菜”:华为强大的原因终于找到了 社会小灵 2020年12月15日 14:46\n",
      "https://baijiahao.baidu.com/s?id=1686125697089096406&amp;wfr=spider&amp;for=pc\n",
      "2.走出科技不信任,让技术回归技术本身 懂懂笔记 2020年12月12日 21:03\n",
      "https://baijiahao.baidu.com/s?id=1685877620457513158&amp;wfr=spider&amp;for=pc\n",
      "3.好消息!科技迎来两项重大突破,中国走向世界最前列 台海新观察 2020年12月12日 19:49\n",
      "https://baijiahao.baidu.com/s?id=1685683399070352788&amp;wfr=spider&amp;for=pc\n",
      "4.回答2020|科技是否意味着一切? 广州地产派 2020年12月12日 18:07\n",
      "https://baijiahao.baidu.com/s?id=1685866566857626701&amp;wfr=spider&amp;for=pc\n",
      "5.百名院士解读习近平科技创新思想-新闻专题-科学网 科学网 2020年12月12日 07:56\n",
      "http://news.sciencenet.cn/news/sub24.aspx?id=3065\n",
      "6.科技是未来10年的主流:万亿巨头将会不断涌现? 东哥侃市 2020年12月7日 14:04\n",
      "https://baijiahao.baidu.com/s?id=1685398319010262371&amp;wfr=spider&amp;for=pc\n",
      "7.中国与阿根廷疫情期间科技合作更趋紧密 新华社新媒体 2020年10月4日 16:52\n",
      "https://baijiahao.baidu.com/s?id=1679610724444101324&amp;wfr=spider&amp;for=pc\n",
      "8.用科学知识激发兴趣 让孩子们“有思维”“有想法” 潇湘晨报 2020年10月4日 16:10\n",
      "https://baijiahao.baidu.com/s?id=1679615520934112558&amp;wfr=spider&amp;for=pc\n",
      "9.5G共话金融科技——苏州移动参展第三届中国金融科技产业峰会 中国江苏网 2020年9月17日 16:53\n",
      "https://baijiahao.baidu.com/s?id=1678073326100080663&amp;wfr=spider&amp;for=pc\n",
      "10.刘姝威任独董 估值60亿美元独角兽瞄准A股上市!全柔性屏做“柔衣... 金融界 2020年8月9日 07:15\n",
      "https://baijiahao.baidu.com/s?id=1674501246580340832&amp;wfr=spider&amp;for=pc\n",
      "科技第1页爬取成功\n",
      "1.“北斗人”焦永涛 科技创新的弄潮儿 中华儿女 2020年6月4日 15:29\n",
      "https://baijiahao.baidu.com/s?id=1668552579451880041&amp;wfr=spider&amp;for=pc\n",
      "2.科技战“疫”压测新基建,浪潮存储亮出“七种武器” 懂懂笔记 2020年4月13日 20:40\n",
      "https://baijiahao.baidu.com/s?id=1663861146901117347&amp;wfr=spider&amp;for=pc\n",
      "3.科技企业“抗疫”的花式GR 懂懂笔记 2020年3月4日 20:41\n",
      "https://baijiahao.baidu.com/s?id=1660236793456130560&amp;wfr=spider&amp;for=pc\n",
      "4.青训,高科技信息时代的精耕细作——再访卡塔尔精英学院 直播吧 2019年12月30日 11:03\n",
      "https://baijiahao.baidu.com/s?id=1654312121130609296&amp;wfr=spider&amp;for=pc\n",
      "5.2021—2035年国家中长期科技发展规划开展重大问题研究面向社会... 中华人民共和国科学技术部 2019年11月5日 14:02\n",
      "http://www.most.gov.cn/tztg/201911/t20191105_149762.htm\n",
      "6.既华为之后!中国科技巨头,终于宣布,中兴天机Axon10 Pro 开售 头脑眼大设计 2019年7月29日 17:51\n",
      "https://baijiahao.baidu.com/s?id=1640115163839464617&amp;wfr=spider&amp;for=pc\n",
      "7.科技部召开2019年度党建工作暨党风廉政建设和反腐败工作会议 中华人民共和国科学技术部 2019年5月5日 18:10\n",
      "http://www.most.gov.cn/kjbgz/201905/t20190505_146388.htm\n",
      "8.科技部与全国工商联召开会商会议举行战略合作备忘录签约仪式 中华人民共和国科学技术部 2019年4月29日 16:24\n",
      "http://www.most.gov.cn/kjbgz/201904/t20190429_146329.htm\n",
      "9.驻科技部纪检监察组组长王宾宜与科技部新任职正局级领导干部集体... 中华人民共和国科学技术部 2019年4月19日 16:12\n",
      "http://www.most.gov.cn/kjbgz/201904/t20190419_146150.htm\n",
      "10.李萌副部长赴张家口调研科技冬奥工作 中华人民共和国科学技术部 2019年4月15日 08:56\n",
      "http://www.most.gov.cn/kjbgz/201904/t20190415_146086.htm\n",
      "科技第2页爬取成功\n",
      "1.李萌副部长赴张家口调研科技冬奥工作 中华人民共和国科学技术部 2019年4月15日 08:56\n",
      "http://www.most.gov.cn/kjbgz/201904/t20190415_146086.htm\n",
      "2.2019年全国科技管理系统政务工作片区会议在广州召开 中华人民共和国科学技术部 2019年4月12日 09:23\n",
      "http://www.most.gov.cn/kjbgz/201904/t20190412_146081.htm\n",
      "3.科技部王志刚部长应邀访问澳门 中华人民共和国科学技术部 2019年4月11日 15:58\n",
      "http://www.most.gov.cn/kjbgz/201904/t20190411_146076.htm\n",
      "4.甘肃省科技厅召开2019年全面从严治党工作会议 中华人民共和国科学技术部 2019年3月26日 11:12\n",
      "http://www.most.gov.cn/jgdj/gzjl/201903/t20190326_145876.htm\n",
      "5.科技部火炬中心调研粤澳青年创新创业基地(中山)建设情况 中华人民共和国科学技术部 2019年3月19日 09:23\n",
      "http://www.most.gov.cn/kjbgz/201903/t20190319_145736.htm\n",
      "6.科技部 中央宣传部 中国科协关于举办2019年全国科技活动周的通知 中华人民共和国科学技术部 2019年3月14日 14:14\n",
      "http://www.most.gov.cn/tztg/201903/t20190314_145672.htm\n",
      "7.科技部就“加快建设创新型国家”答记者问 央视网 2019年3月11日 13:52\n",
      "http://news.cctv.com/special/jujiao/2019/969/index.shtml\n",
      "8.2019年科技届两会提案,人工智能、5G热度不减 天极网 2019年3月4日 18:19\n",
      "http://net.yesky.com/50/1054145050.shtml\n",
      "9.科技厅召开“科技大脑”建设工作推进会 中华人民共和国科学技术部 2019年2月26日 08:32\n",
      "http://www.most.gov.cn/dfkj/zj/zxdt/201902/t20190225_145173.htm\n",
      "10.海南省科技厅召开2019年科技创新工作研讨会 中华人民共和国科学技术部 2019年2月25日 09:38\n",
      "http://www.most.gov.cn/dfkj/hain/zxdt/201902/t20190225_145169.htm\n",
      "科技第3页爬取成功\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1.王志刚:加快建设创新型国家和世界科技强国 中华人民共和国科学技术部 2019年1月28日 00:00\n",
      "http://www.most.gov.cn/xinwzx/mtjj/mtzf/201901/t20190128_144936.htm\n",
      "2.2019年全国科技工作会议在京闭幕 中华人民共和国科学技术部 2019年1月10日 19:35\n",
      "http://www.most.gov.cn/ztzl/qgkjgzhy/2019/2019tpxw/201901/t20190110_144711.htm\n",
      "3.科技部部长王志刚会见以色列外宾 中华人民共和国科学技术部 2019年1月10日 19:18\n",
      "http://www.most.gov.cn/kjbgz/201901/t20190110_144714.htm\n",
      "4.2019年全国科技工作会议在京召开 中华人民共和国科学技术部 2019年1月9日 00:00\n",
      "http://www.most.gov.cn/ztzl/qgkjgzhy/2019/2019zxdt/201901/t20190110_144712.htm\n",
      "5.2018年度国家科技奖励大会_央视网_新闻频道_央视网(cctv.com) 央视网 2019年1月8日 12:05\n",
      "http://news.cctv.com/special/gjkxjsjldh2018/\n",
      "6.浙江省科学技术厅党组印发《关于推进省科技厅系统清廉建设的实施... 中华人民共和国科学技术部 2018年11月9日 17:29\n",
      "http://www.most.gov.cn/jgdj/gzjl/201811/t20181109_142695.htm\n",
      "7.科技部召开2018年全国科技管理系统党建工作交流座谈会 中华人民共和国科学技术部 2018年10月23日 14:57\n",
      "http://www.most.gov.cn/jgdj/djyw/201810/t20181023_142376.htm\n",
      "8.科技部重大办组织召开重大专项实施管理办公室主任会2018年第五次... 中华人民共和国科学技术部 2018年10月18日 10:11\n",
      "http://www.most.gov.cn/kjbgz/201810/t20181018_142238.htm\n",
      "9.三分钟带你了解什么是Fintech(金融科技)? 霹雳网络 2018年9月18日 17:23\n",
      "https://baijiahao.baidu.com/s?id=1611936592642670505&amp;wfr=spider&amp;for=pc\n",
      "10.四川省科学技术厅强化科技攻关和成果转化,大力培育新产业新业态 中华人民共和国科学技术部 2018年9月11日 15:34\n",
      "http://www.most.gov.cn/dfkj/sc/zxdt/201809/t20180911_141705.htm\n",
      "科技第4页爬取成功\n",
      "1.三分钟带你了解什么是Fintech(金融科技)? 霹雳网络 2018年9月18日 17:23\n",
      "https://baijiahao.baidu.com/s?id=1611936592642670505&amp;wfr=spider&amp;for=pc\n",
      "2.四川省科学技术厅强化科技攻关和成果转化,大力培育新产业新业态 中华人民共和国科学技术部 2018年9月11日 15:34\n",
      "http://www.most.gov.cn/dfkj/sc/zxdt/201809/t20180911_141705.htm\n",
      "3.建设科技强国,习近平提出这五点要求 央视网 2018年6月7日 06:48\n",
      "http://news.cctv.com/2018/06/07/ARTIpZKdVloCDgYO4CiaB7EF180607.shtml\n",
      "4.科技强国,创新很重要!习近平这十句话振奋人心! 新华网客户端 2018年5月27日 15:10\n",
      "http://www.xinhuanet.com/politics/2018-05/27/c_1122894634.htm\n",
      "5.零一科技陈江山:我们不只是黑科技节,而是一个黑科技服务生态 砺石商业评论 2018年5月21日 10:10\n",
      "https://baijiahao.baidu.com/s?id=1601037321897190817&amp;wfr=spider&amp;for=pc\n",
      "6.美的集团科技转型成果亮相广交会:展示中国创新底气! 智家电 2018年4月25日 20:44\n",
      "https://baijiahao.baidu.com/s?id=1598721904641910040&amp;wfr=spider&amp;for=pc\n",
      "7.中国最强7大科技公司排名,最后一个最让国人骄傲! 一亩田科技 2018年4月23日 11:33\n",
      "https://baijiahao.baidu.com/s?id=1598409517646001097&amp;wfr=spider&amp;for=pc\n",
      "8.科技部举行挂牌仪式并召开干部大会 中华人民共和国科学技术部 2018年4月11日 17:52\n",
      "http://www.most.gov.cn/kjbgz/201804/t20180411_139087.htm\n",
      "9.中国科技独角兽,电商占比超过20%,排名第一! 调皮电商 2018年3月23日 18:37\n",
      "https://baijiahao.baidu.com/s?id=1595724321809651521&amp;wfr=spider&amp;for=pc\n",
      "10.关于科技创新创业导师入库及下一步工作的通知 中华人民共和国科学技术部 2018年3月15日 08:49\n",
      "http://www.most.gov.cn/tztg/201803/t20180315_138597.htm\n",
      "科技第5页爬取成功\n",
      "1.国家科技计划管理部际联席会议2018年第一次全体会议在京召开 中华人民共和国科学技术部 2018年2月11日 14:02\n",
      "http://www.most.gov.cn/kjbgz/201802/t20180211_138097.htm\n",
      "2.2017科技奖励大会 中华人民共和国科学技术部 2018年1月8日 15:36\n",
      "http://www.most.gov.cn/ztzl/gjkxjsjldh/jldh2017/index.htm\n",
      "3.科技部关于公布2017年全国优秀科普作品名单的通知 中华人民共和国科学技术部 2018年1月2日 09:43\n",
      "http://www.most.gov.cn/tztg/201801/t20180102_137311.htm\n",
      "4.科技部关于公布2017年度国家备案众创空间的通知 中华人民共和国科学技术部 2017年12月27日 16:58\n",
      "http://www.most.gov.cn/tztg/201712/t20171227_137258.htm\n",
      "5.科技部召开2018年审计工作布置会 中华人民共和国科学技术部 2017年12月27日 14:48\n",
      "http://www.most.gov.cn/kjbgz/201712/t20171227_137231.htm\n",
      "6.科技部事业单位2018年度公开招聘高校应届毕业生公告 中华人民共和国科学技术部 2017年12月5日 09:05\n",
      "http://www.most.gov.cn/tztg/201712/t20171205_136651.htm\n",
      "7.阅面科技发布堪比服务器的终端视觉模块,将云端计算能力搬至终端 机器之能 2017年11月5日 16:47\n",
      "https://baijiahao.baidu.com/s?id=1583215111760633401&amp;wfr=spider&amp;for=pc\n",
      "8.AWE2018继续搞大事!全球化潮流跨界的科技公园来袭 极果 2017年10月13日 18:00\n",
      "https://baijiahao.baidu.com/s?id=1581135746001260659&amp;wfr=spider&amp;for=pc\n",
      "9.科技部关于印发《国家重点研发计划资金管理办法》配套实施细则的... 中华人民共和国科学技术部 2017年9月29日 18:13\n",
      "http://www.most.gov.cn/tztg/201709/t20170929_135160.htm\n",
      "10.“2017中美科技人员交流计划”闭幕式暨第十二届“中美青年科学... 中华人民共和国科学技术部 2017年8月16日 08:45\n",
      "http://www.most.gov.cn/kjbgz/201708/t20170816_134469.htm\n",
      "科技第6页爬取成功\n",
      "1.快讯:迅游科技急速拉升6.32% 主力资金净流入450.21万元 金融界 2020年8月20日 13:21\n",
      "https://baijiahao.baidu.com/s?id=1675520782403348200&amp;wfr=spider&amp;for=pc\n",
      "2.传统印象中的农业大省,河南咋在科技上弯道超车?北宋“科技咖”有... 潇湘晨报 2020年8月20日 11:33\n",
      "https://baijiahao.baidu.com/s?id=1675518855908279613&amp;wfr=spider&amp;for=pc\n",
      "3.固特科技2020年上半年净利310.46万 同比减少27% 金融界 2020年8月20日 10:32\n",
      "https://baijiahao.baidu.com/s?id=1675510159440658352&amp;wfr=spider&amp;for=pc\n",
      "4.科技赋能文物保护:让千年海外流失文物魂归故里 中国日报网 2020年8月20日 08:23\n",
      "https://baijiahao.baidu.com/s?id=1675506377449009712&amp;wfr=spider&amp;for=pc\n",
      "5.从“技术应用”到“数字重构”:数字科技要全面助力增长 新华网客户端 2020年8月20日 08:20\n",
      "https://baijiahao.baidu.com/s?id=1675501595498932636&amp;wfr=spider&amp;for=pc\n",
      "6.省科技厅来蜀山区调研环境产业工作 潇湘晨报 2020年8月20日 08:15\n",
      "https://baijiahao.baidu.com/s?id=1675516794019802016&amp;wfr=spider&amp;for=pc\n",
      "7.东海科技动力A基金最新净值跌幅达2.75% 金融界 2020年8月20日 06:52\n",
      "https://baijiahao.baidu.com/s?id=1675496683696720061&amp;wfr=spider&amp;for=pc\n",
      "8.雪峰科技2020年上半年净利1153.52万下滑31.62% 各业务板块收入均... 金融界 2020年8月19日 19:55\n",
      "https://baijiahao.baidu.com/s?id=1675455037502982748&amp;wfr=spider&amp;for=pc\n",
      "9.A股夜报|股债均跌至关键点位,科技医药重挫,消费周期显著抗跌 华尔街见闻 2020年8月19日 18:30\n",
      "https://baijiahao.baidu.com/s?id=1675449378485686212&amp;wfr=spider&amp;for=pc\n",
      "10.雪峰科技拟在北京海淀区新设研究院 有利于促进公司转型升级多元发展 金融界 2020年8月19日 16:41\n",
      "https://baijiahao.baidu.com/s?id=1675442706591127000&amp;wfr=spider&amp;for=pc\n",
      "科技第7页爬取成功\n",
      "1.A股夜报|股债均跌至关键点位,科技医药重挫,消费周期显著抗跌 华尔街见闻 2020年8月19日 18:30\n",
      "https://baijiahao.baidu.com/s?id=1675449378485686212&amp;wfr=spider&amp;for=pc\n",
      "2.雪峰科技拟在北京海淀区新设研究院 有利于促进公司转型升级多元发展 金融界 2020年8月19日 16:41\n",
      "https://baijiahao.baidu.com/s?id=1675442706591127000&amp;wfr=spider&amp;for=pc\n",
      "3.吴晓军会见商汤科技CEO徐立一行 潇湘晨报 2020年8月19日 15:21\n",
      "https://baijiahao.baidu.com/s?id=1675449551962033950&amp;wfr=spider&amp;for=pc\n",
      "4.“百度世界2020”大会定档915 中国科技界盛宴即将来袭 雷锋网 2020年8月19日 13:47\n",
      "https://baijiahao.baidu.com/s?id=1675433310516247844&amp;wfr=spider&amp;for=pc\n",
      "5.金溢科技高级管理人员蔡福春减持16万股 套现约1160万元 金融界 2020年8月19日 13:32\n",
      "https://baijiahao.baidu.com/s?id=1675430877248188675&amp;wfr=spider&amp;for=pc\n",
      "6.黄玮:彩生活核心竞争力是低成本运营和高科技赋能 乐居财经 2020年8月19日 12:45\n",
      "https://baijiahao.baidu.com/s?id=1675427712426170558&amp;wfr=spider&amp;for=pc\n",
      "7.北京:科技赋能 旅游服务专题将亮相服贸会 中国日报网 2020年8月19日 11:07\n",
      "https://baijiahao.baidu.com/s?id=1675422889449489229&amp;wfr=spider&amp;for=pc\n",
      "8.泰山区科技赋能,助推景区提档升级 齐鲁晚报网 2020年8月19日 11:00\n",
      "https://baijiahao.baidu.com/s?id=1675421060073300743&amp;wfr=spider&amp;for=pc\n",
      "9.与变同行:富德生命人寿的“保险+科技”发展之路 中国网财经 2020年8月19日 10:32\n",
      "https://baijiahao.baidu.com/s?id=1675419319314145536&amp;wfr=spider&amp;for=pc\n",
      "10.浙江德马科技首次发布在科创板上市 上市主要存在风险分析 中商情报网 2020年8月19日 10:21\n",
      "https://baijiahao.baidu.com/s?id=1675418566219731947&amp;wfr=spider&amp;for=pc\n",
      "科技第8页爬取成功\n",
      "1.2020年青岛市科技活动周:到极地海洋世界探秘海洋天堂 潇湘晨报 2020年8月19日 10:08\n",
      "https://baijiahao.baidu.com/s?id=1675421514194898090&amp;wfr=spider&amp;for=pc\n",
      "2.河北饶阳县总工会“科技套餐”助会员增收致富 潇湘晨报 2020年8月19日 10:02\n",
      "https://baijiahao.baidu.com/s?id=1675421399176025856&amp;wfr=spider&amp;for=pc\n",
      "3.马铃薯专家王一航:脱贫致富路上的科技功臣 潇湘晨报 2020年8月19日 09:20\n",
      "https://baijiahao.baidu.com/s?id=1675419202579956537&amp;wfr=spider&amp;for=pc\n",
      "4.标普500指数受科技股大涨推动继续回升 美股多板块持续低迷 环球网 2020年8月19日 06:56\n",
      "https://baijiahao.baidu.com/s?id=1675405968012902260&amp;wfr=spider&amp;for=pc\n",
      "5.内部交易披露:先进科技高管净买入6.50万股 同花顺财经 2020年8月19日 03:11\n",
      "https://baijiahao.baidu.com/s?id=1675391746832289006&amp;wfr=spider&amp;for=pc\n",
      "6.励图科技2020年上半年亏损306.09万亏损增加 研发投入加大 金融界 2020年8月19日 00:09\n",
      "https://baijiahao.baidu.com/s?id=1675380035678729286&amp;wfr=spider&amp;for=pc\n",
      "7.中国人寿:掌上科技让理赔更便捷 大众日报 2020年8月18日 21:52\n",
      "https://baijiahao.baidu.com/s?id=1675371540820495602&amp;wfr=spider&amp;for=pc\n",
      "8.林郑月娥:数码经济和创新科技将为香港与印尼带来全新商机 金融界 2020年8月18日 21:50\n",
      "https://baijiahao.baidu.com/s?id=1675371735798450920&amp;wfr=spider&amp;for=pc\n",
      "9.张朝阳跨界地产直播首秀 打卡科技住宅扩展带货形式边界 潇湘晨报 2020年8月18日 21:36\n",
      "https://baijiahao.baidu.com/s?id=1675374144118940060&amp;wfr=spider&amp;for=pc\n",
      "10.盘后公告集锦|中国人寿澄清合并传闻 蓝思科技拟99亿元收购可成... 财联社 2020年8月18日 21:25\n",
      "https://baijiahao.baidu.com/s?id=1675369860824470325&amp;wfr=spider&amp;for=pc\n",
      "科技第9页爬取成功\n",
      "1.上半年净利润暴增13倍 蓝思科技拟99亿现金收购可胜泰州和可利泰州 新浪财经 2020年8月18日 20:54\n",
      "https://baijiahao.baidu.com/s?id=1675368914851803234&amp;wfr=spider&amp;for=pc\n",
      "2.同道猎聘上半年经营利润增42.6% 多元化扩张变身科技集团 证券日报 2020年8月18日 20:05\n",
      "https://baijiahao.baidu.com/s?id=1675364727643704421&amp;wfr=spider&amp;for=pc\n",
      "3.华米科技二季度营收11.37亿元 出货量达890万台 金融界 2020年8月18日 19:53\n",
      "https://baijiahao.baidu.com/s?id=1675365944105961305&amp;wfr=spider&amp;for=pc\n",
      "4.这就是山东丨以科技赋能未来,以创新驱动发展 海报新闻 2020年8月18日 19:20\n",
      "https://baijiahao.baidu.com/s?id=1675361922264901774&amp;wfr=spider&amp;for=pc\n",
      "5.我国科技人力资源总量居世界第一,未来提升质量是重点 科技日报 2020年8月18日 19:05\n",
      "https://baijiahao.baidu.com/s?id=1675360972166504370&amp;wfr=spider&amp;for=pc\n",
      "6.蓝思科技:子公司拟以现金99亿收购可胜泰州和可利泰州各100%股权 新浪财经 2020年8月18日 18:27\n",
      "https://baijiahao.baidu.com/s?id=1675361106080889607&amp;wfr=spider&amp;for=pc\n",
      "7.集装箱“自己跑”山东港口青岛港无人码头满满“科技范” 中国甘肃网 2020年8月18日 18:20\n",
      "https://baijiahao.baidu.com/s?id=1675358155327943614&amp;wfr=spider&amp;for=pc\n",
      "8.泰晶科技:公司的热敏晶体已陆续通过多家主流通信厂商的测试并实现... 金融界 2020年8月18日 17:46\n",
      "https://baijiahao.baidu.com/s?id=1675356328972083871&amp;wfr=spider&amp;for=pc\n",
      "9.高科技+超环保,广西首条时速350公里的高铁又有重大进展! 广西日报 2020年8月18日 16:02\n",
      "https://baijiahao.baidu.com/s?id=1675349473345048469&amp;wfr=spider&amp;for=pc\n",
      "10.科技股重拾动力 华虹半导体及京东、美团各涨逾7% 新浪财经 2020年8月18日 15:18\n",
      "https://baijiahao.baidu.com/s?id=1675346832838425979&amp;wfr=spider&amp;for=pc\n",
      "科技第10页爬取成功\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1.多数省份明年起增加体育中考分值 济南时报 3分钟前\n",
      "http://jnsb.e23.cn/shtml/dsnb/20201216/1886088.shtml\n",
      "2.由体育竞赛想到的:萧条中的生存智慧 作者蒋宝儿 7分钟前\n",
      "https://baijiahao.baidu.com/s?id=1686213518534488569&amp;wfr=spider&amp;for=pc\n",
      "3.“十三五”期教育部指出,研学旅行承载学校体育、美育教育重任 云成长研学 29分钟前\n",
      "https://baijiahao.baidu.com/s?id=1686212307553936681&amp;wfr=spider&amp;for=pc\n",
      "4.体育让乡村校园“动”起来 安青网 29分钟前\n",
      "http://www.ahyouth.com/news/20201216/1505138.shtml\n",
      "5.反兴奋剂中心关于报送2020年度反兴奋剂工作情况的通知 - 国家体育... 国家体育总局 32分钟前\n",
      "http://www.sport.gov.cn/fxfjzx/n5555/c973202/content.html\n",
      "6.反兴奋剂中心2020年公开招聘人员(秋季)公告 - 国家体育总局反... 国家体育总局 32分钟前\n",
      "http://www.sport.gov.cn/fxfjzx/n5555/c973204/content.html\n",
      "7.2021年度国家级纯洁体育教育讲师培训班在京举办 国家体育总局 32分钟前\n",
      "http://www.sport.gov.cn/fxfjzx/n5555/c973201/content.html\n",
      "8.武汉体育学院,举办第四届新青年论坛,激发决心与信心 艺飞说 32分钟前\n",
      "https://baijiahao.baidu.com/s?id=1686212062143809153&amp;wfr=spider&amp;for=pc\n",
      "9.“十三五”期间体育美育教师不断“配齐” 法制网 1小时前\n",
      "http://www.legaldaily.com.cn/government/content/2020-12/16/content_8383656.htm\n",
      "10.他们是我国的体育英雄,下一代却都是外国国籍,网友:为什么? 456嘿嘿ghj 1小时前\n",
      "https://baijiahao.baidu.com/s?id=1686209119950607831&amp;wfr=spider&amp;for=pc\n",
      "体育第1页爬取成功\n",
      "1.[特别关注-北京]模拟演练:体育赛事突发食品安全事件 23名“现场... 央视网 1小时前\n",
      "http://news.cctv.com/2020/12/16/VIDETkWOjJ50LEtgWZB9SRK8201216.shtml\n",
      "2.“老师必上体育课” 网红名校扒出一枚围棋神童 世界冠军辜梓豪还... 腾讯网 1小时前\n",
      "https://new.qq.com/omn/20201216/20201216A0686F00.html\n",
      "3.办一届群众参与度高人文精神足的体育盛会 央视网 1小时前\n",
      "http://news.cctv.com/2020/12/16/ARTI3dxJ71pFAs5qVCh4fMz4201216.shtml\n",
      "4.在培养姚明、吴敏霞、高磊等体坛名将后,上海这个区如此描绘体育... 网易新闻 1小时前\n",
      "http://dy.163.com/article/FTVGPB78055040N3.html\n",
      "5.2021年南京中考体育满分恢复到40分,体育老师支招如何备考 网易新闻 1小时前\n",
      "http://dy.163.com/article/FTVGN4GU054616DB.html\n",
      "6.体育与健康_20201216 新疆新闻在线网 2小时前\n",
      "http://www.xjbs.com.cn/aod/weiwueryuwenyi/2020-12/16/cms2320858article.shtml\n",
      "7.安永:迎接全民健身时代,智慧化助力体育场馆创新转型 EY安永 2小时前\n",
      "https://baijiahao.baidu.com/s?id=1686205102558297066&amp;wfr=spider&amp;for=pc\n",
      "8.上虞区教体局入围”全国体育事业突出贡献奖”拟表彰名单 浙江在线 2小时前\n",
      "https://zj.zjol.com.cn/news.html?id=1583795\n",
      "9....家门口——“公益体彩 幸福中国”活动走进湘潭  - 国家体育总局 国家体育总局 2小时前\n",
      "http://www.sport.gov.cn/n316/n343/n1193/c973195/content.html\n",
      "10.走出冬季锻练误区之锻炼时穿得过多或过少  - 国家体育总局 国家体育总局 2小时前\n",
      "http://www.sport.gov.cn/n316/n343/n1191/c973183/content.html\n",
      "体育第2页爬取成功\n",
      "1.走出冬季锻练误区之不做热身或热身不充分  - 国家体育总局 国家体育总局 2小时前\n",
      "http://www.sport.gov.cn/n316/n343/n1191/c973185/content.html\n",
      "2.走出冬季锻练误区之突发奇想或集中锻炼  - 国家体育总局 国家体育总局 2小时前\n",
      "http://www.sport.gov.cn/n317/n345/c973180/content.html\n",
      "3.动因体育:运动是为了培养孩子受益一生的能力 中华网 2小时前\n",
      "https://hea.china.com/article/20201216/122020_675616.html\n",
      "4.肖战登《北京卫视》冬奥纪实频道,大力弘扬体育精神! 娱闻快报 2小时前\n",
      "https://baijiahao.baidu.com/s?id=1686204053163612710&amp;wfr=spider&amp;for=pc\n",
      "5.2020年上海市体育局冬训动员大会举行 国家体育总局 2小时前\n",
      "http://www.sport.gov.cn/n316/n338/c973175/content.html\n",
      "6.运动空间的色彩美学-宁波奥林匹克体育中心/CCDI卝智室内设计 腾讯网 3小时前\n",
      "https://new.qq.com/omn/20201216/20201216A04G0C00.html\n",
      "7.云端竞技探索科技体育办赛新路径 青少年电子制作公开赛(嘉兴站... 国家体育总局 3小时前\n",
      "http://www.sport.gov.cn/n317/n344/c973166/content.html\n",
      "8.“北京纪录”挑战赛 百姓健身好选择  - 国家体育总局 国家体育总局 3小时前\n",
      "http://www.sport.gov.cn/n317/n344/c973168/content.html\n",
      "9.上海:体育设施实事工程提前超额完成 身边24小时 3小时前\n",
      "https://baijiahao.baidu.com/s?id=1686208633039516800&amp;wfr=spider&amp;for=pc\n",
      "10.昆明举行外来务工人员运动会  - 国家体育总局 国家体育总局 3小时前\n",
      "http://www.sport.gov.cn/n316/n343/n1191/c973161/content.html\n",
      "体育第3页爬取成功\n",
      "1.“三大球”振兴助力体育强国建设 中国体育报 3小时前\n",
      "https://baijiahao.baidu.com/s?id=1686200911473294626&amp;wfr=spider&amp;for=pc\n",
      "2.2020首家上市体育公司!健身器材巨头舒华体育探索运动健康新方向 体育大生意 3小时前\n",
      "https://baijiahao.baidu.com/s?id=1686200296811317755&amp;wfr=spider&amp;for=pc\n",
      "3.女排国手点赞排球发展基金  - 国家体育总局 国家体育总局 3小时前\n",
      "http://www.sport.gov.cn/n318/n352/c973145/content.html\n",
      "4.CAA,激活中国体育营销市场 亚体资讯 3小时前\n",
      "https://baijiahao.baidu.com/s?id=1686199410793734801&amp;wfr=spider&amp;for=pc\n",
      "5.河北省体育局体能教练员培训班成功举办 国家体育总局 4小时前\n",
      "http://www.sport.gov.cn/n316/n338/c973116/content.html\n",
      "6.以体育人,满天星训练营的体教融合思路 云南网 4小时前\n",
      "http://news.yunnan.cn/system/2020/12/16/031181587.shtml\n",
      "7.德城区中小学——塑造校园体育文化品牌 德州新闻网 4小时前\n",
      "http://www.dezhoudaily.com/dzsh/p/1531902.html\n",
      "8.运动器材添&quot;身份证&quot; 上海体育局完成年度实事工程 上海热线体育频道 4小时前\n",
      "https://sports.online.sh.cn/content/2020-12/16/content_9689213.htm\n",
      "9.5000人跑步助农,新昌开启体育赛事扶贫新模式 江西网络广播电视台 4小时前\n",
      "http://news.jxntv.cn/2020/1216/9509555.shtml\n",
      "10.别让体育成为压力 银川晚报·轻松阅读 4小时前\n",
      "http://szb.ycen.com.cn/ipaper/ycwb/html/2020-12/16/content_46321.htm\n",
      "体育第4页爬取成功\n"
     ]
    }
   ],
   "source": [
    "import requests\n",
    "import re\n",
    "headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}\n",
    "\n",
    "def baidu(keyword, page):  # 定义函数，方便之后批量调用\n",
    "    num = (page - 1) * 10\n",
    "    url = 'https://www.baidu.com/s?tn=news&rtt=4&bsst=1&cl=2&wd=' + keyword + '&pn=' + str(num)\n",
    "    res = requests.get(url, headers=headers).text  # 通过requests库爬虫\n",
    "    \n",
    "    # 正则提取信息 - 网址和标题\n",
    "    p_href = '<h3 class=\"news-title_1YtI1\"><a href=\"(.*?)\"'\n",
    "    href = re.findall(p_href, res)\n",
    "    p_title = '<h3 class=\"news-title_1YtI1\">.*?>(.*?)</a>'\n",
    "    title = re.findall(p_title, res, re.S)\n",
    "    # 正则提取信息 - 日期和来源\n",
    "    p_date = '<span class=\"c-color-gray2 c-font-normal\">(.*?)</span>'\n",
    "    date = re.findall(p_date, res)\n",
    "    p_source = '<span class=\"c-color-gray c-font-normal c-gap-right\">(.*?)</span>'\n",
    "    source = re.findall(p_source, res)\n",
    "\n",
    "    # 数据清洗\n",
    "    for i in range(len(title)):  # range(len(title)),这里因为知道len(title) = 10，所以也可以写成for i in range(10)\n",
    "        title[i] = re.sub('<.*?>', '', title[i])  # 核心，用re.sub()函数来替换不重要的内容\n",
    "        print(str(i + 1) + '.' + title[i] + ' ' + source[i] + ' ' + date[i])  # 这个是纯字符串拼接\n",
    "        print(href[i])\n",
    "    \n",
    "    # 通过2.2.1节字典生成二维DataFrame表格   \n",
    "    result = pd.DataFrame({'关键词': keyword, '标题': title, '网址': href, '来源': source, '日期': date})\n",
    "    return result\n",
    "    \n",
    "# 通过pandas库将数据进行整合并导出为Excel\n",
    "import pandas as pd  \n",
    "df = pd.DataFrame()\n",
    "    \n",
    "keywords = ['华能信托', '人工智能', '科技', '体育', 'Python', '娱乐', '文化', '阿里巴巴', '腾讯', '京东']\n",
    "for keyword in keywords:\n",
    "    for i in range(10):  # 循环10遍，获取10页的信息\n",
    "        result = baidu(keyword, i+1)\n",
    "        df = df.append(result)  # 通过append()函数添加每条信息到df中\n",
    "        print(keyword + '第' + str(i+1) + '页爬取成功')\n",
    "\n",
    "df.to_excel('新闻_new.xlsx')  # 在代码所在文件夹生成EXCEL文件"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 100,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>关键词</th>\n",
       "      <th>标题</th>\n",
       "      <th>网址</th>\n",
       "      <th>来源</th>\n",
       "      <th>日期</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>华能信托</td>\n",
       "      <td>68家信托公司战略各异:头部强调综合金融、中游重差异化、下游战略...</td>\n",
       "      <td>http://baijiahao.baidu.com/s?id=16443478269695...</td>\n",
       "      <td>同花顺财经</td>\n",
       "      <td>2019年09月11日 11:22</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>华能信托</td>\n",
       "      <td>【调研快报】好太太接待华能贵诚信托等32家机构调研</td>\n",
       "      <td>http://stock.eastmoney.com/a/20190902122530361...</td>\n",
       "      <td>东方财富网</td>\n",
       "      <td>2019年09月02日 17:06</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>华能信托</td>\n",
       "      <td>「0812」信托数据研报-小貔貅出品</td>\n",
       "      <td>http://baijiahao.baidu.com/s?id=16415551320291...</td>\n",
       "      <td>小貔貅WealthTech</td>\n",
       "      <td>2019年08月12日 07:00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>华能信托</td>\n",
       "      <td>信托公司2019年上半年经营业绩概览</td>\n",
       "      <td>http://www.financialnews.com.cn/trust/hyzx/201...</td>\n",
       "      <td>中国金融新闻网</td>\n",
       "      <td>2019年07月23日 14:08</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>华能信托</td>\n",
       "      <td>58家信托上半年净利排位!平安江苏中信华能位列前四</td>\n",
       "      <td>http://finance.sina.com.cn/trust/xthydt/2019-0...</td>\n",
       "      <td>新浪</td>\n",
       "      <td>2019年07月18日 12:14</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    关键词                                   标题  \\\n",
       "0  华能信托  68家信托公司战略各异:头部强调综合金融、中游重差异化、下游战略...   \n",
       "1  华能信托            【调研快报】好太太接待华能贵诚信托等32家机构调研   \n",
       "2  华能信托                   「0812」信托数据研报-小貔貅出品   \n",
       "3  华能信托                   信托公司2019年上半年经营业绩概览   \n",
       "4  华能信托            58家信托上半年净利排位!平安江苏中信华能位列前四   \n",
       "\n",
       "                                                  网址             来源  \\\n",
       "0  http://baijiahao.baidu.com/s?id=16443478269695...          同花顺财经   \n",
       "1  http://stock.eastmoney.com/a/20190902122530361...          东方财富网   \n",
       "2  http://baijiahao.baidu.com/s?id=16415551320291...  小貔貅WealthTech   \n",
       "3  http://www.financialnews.com.cn/trust/hyzx/201...        中国金融新闻网   \n",
       "4  http://finance.sina.com.cn/trust/xthydt/2019-0...             新浪   \n",
       "\n",
       "                  日期  \n",
       "0  2019年09月11日 11:22  \n",
       "1  2019年09月02日 17:06  \n",
       "2  2019年08月12日 07:00  \n",
       "3  2019年07月23日 14:08  \n",
       "4  2019年07月18日 12:14  "
      ]
     },
     "execution_count": 100,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head()"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.3"
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}
